LLM Agent 的来源偏好：测量、成因与缓解
🧭 Agent 端到端搜索中的来源偏好测量与缓解 ★ 深度解读
Graduate School of Data Science, Seoul National University
LLM Agent 在端到端搜索中因来源域名产生选择偏差，即使内容一致也偏好特定站点，且可通过平衡训练与缺失信息干预缓解
📌 工作参考价值（4 点）
- 在电商/Agent 评估中引入 requirement-matched pair + Bradley-Terry 方法监控来源偏差；用 inversion rate 衡量来源偏好是否压倒 item 质量，可作为线上选品 Agent 的公平性指标。
- 工程上，URL/域名是来源偏好的主要信息载体；隐藏文本中的来源名作用小，因此做盲评或上线时可考虑对 Agent 屏蔽 URL 或标准化来源展示，减少域名对决策的影响。
- 精调 LLM 选择模型时，DPO/偏好数据中 source 与 preferred label 的相关性会学习成 shortcut；把 source 与 label 的配对比例平衡到 50% 可将已有来源偏好拉回中性，避免某个电商平台/供应商被系统性偏袒。
- 当商品属性缺失时（如价格），Agent 会用来源先验脑补；补充缺失属性或 prompt 中明确“来源与属性无关/指定某来源通常低价”可显著降低偏好，尤其后者对线上 prompt 工程成本低，但需知道哪个来源被歧视。
测量与缓解 LLM 推荐系统中的身份线索偏好漂移
🧭 LLM RecSys 身份线索漂移测量与缓解 ★ 深度解读
Institute of Intelligent Computing, University of Electronic Science and Technology of China
提出 PromptShift 训练-free 框架，量化并缓解 LLM 推荐中单条身份线索导致的群体偏好漂移，SliceShift 平均降低 62.42%
📌 工作参考价值（4 点）
- 在 LLM 排序/推荐中，prompt 注入用户性别、年龄等 profile 属性不是中性输入：即使行为历史不变，也会系统性把结果拉向该群体热门物品。工程上应把身份字段视为可干预变量，并对线上 prompt 做受控对照测试（paraphrase controls）以区分普通措辞敏感性。
- 可复用其 slice-popularity table：用近期正反馈构建 identity slice × item 频率表，小样本 shrink 向全局，再用 Δφ=φ(item,g)-φ(item,⋆) 识别“群体过流行”物品，作为无参数偏差审计信号。
- 后处理 reranking 适合合规/轻量去偏：对 LLM 生成候选池 (N>K) 用 score = α_u·rank_score + (1-α_u)·(1-φ(item,g)) 重排，α_u 由用户历史 mainstreamness 动态调节；保留 top K' 不干预，能提升 HitRate/MRR 且几乎无额外模型调用。
- 注意 trade-off：该方法可能降低 NDCG，因为会扰动多命中排序；如果业务更重 NDCG 需压 α 下限或只在前 K 外做调整。
Debias-SparseGPT：大语言模型的偏置感知剪枝
🧭 LLM 压缩与公平性 · 偏置感知剪枝
Laboratoire Hubert Curien, UMR CNRS 5516 · Université Claude Bernard Lyon 1 · Université Lumière Lyon 2, ERIC · École Centrale de Lyon, LIRIS, CNRS UMR 5205
在 SparseGPT 剪枝中引入基于对比输入的二阶去偏正则项，显著降低剪枝引起的偏置放大，同时保持模型质量
📌 工作参考价值（3 点）
- 在电商/推荐场景部署压缩后 LLM（如生成商品文案、用户评论回复）时，SparseGPT 等剪枝可能放大对特定用户群体（性别、年龄 persona）的偏见。可借鉴 Debias-SparseGPT 的思路：在剪枝校准阶段加入对比敏感属性的输入对，并加入二阶正则项，在几乎不损失困惑度/准确率的情况下降低公平性风险。
- 校准集的选择直接影响剪枝后模型质量：在强结构化剪枝（如 2:4）下，应优先选择长上下文、内容丰富的样本，而非随机短样本。提示我们在为推荐场景 LM 做压缩时，校准数据应覆盖业务中典型的长尾、复杂情境，以提高泛化和公平性。
- 若业务中需用压缩后 LLM 做个性化推荐或广告文案生成，可在离线评估时加入 fairness 指标（如不同性别/年龄群体输出差异），并将 Debias-SparseGPT 作为模型压缩 pipeline 的一部分，避免上线后因 persona 提示产生明显偏好。